图表卷积网络（GCN）已成功应用于许多基于图形的应用程序。然而，培训大规模的GCN模型仍然具有挑战性：由于GCN架构的节点依赖性和层依赖性，培训过程中需要大量的计算时间和内存。在本文中，我们提出了一种基于乘法器（ADMM）的交替方向方法的平行和分布式GCN训练算法，同时解决两个挑战。我们首先将GCN层分成独立块以实现层并行性。此外，通过将图形划分为几个密集的社区来降低节点依赖性，使得它们中的每一个可以并行地用代理训练。最后，我们为基于社区的ADMM算法中的所有子问题提供了解决方案。初步结果表明，我们所提出的基于社区的ADMM培训算法可能导致三倍超速，同时与最先进的方法相比，实现了最佳性能。

人工智能（AI）为简化Covid-19诊断提供了有前景的替代。然而，涉及周围的安全和可信度的担忧阻碍了大规模代表性的医学数据，对临床实践中训练广泛的模型造成了相当大的挑战。为了解决这个问题，我们启动了统一的CT-Covid AI诊断计划（UCADI），其中AI模型可以在没有数据共享的联合学习框架（FL）下在每个主机机构下分发和独立地在没有数据共享的情况下在每个主机机构上执行。在这里，我们认为我们的FL模型通过大的产量（中国测试敏感性/特异性：0.973 / 0.951，英国：0.730 / 0.942），与专业放射科医师的面板实现可比性表现。我们进一步评估了持有的模型（从另外两家医院收集，留出FL）和异构（用造影材料获取）数据，提供了模型所做的决策的视觉解释，并分析了模型之间的权衡联邦培训过程中的性能和沟通成本。我们的研究基于来自位于中国和英国的23家医院的3,336名患者的9,573次胸部计算断层扫描扫描（CTS）。统称，我们的工作提出了利用联邦学习的潜在保留了数字健康的前景。

这封信提供了在沟通限制下进行多机器人探索的完整框架会议 - 结合措施。考虑到沟通在现实世界中的带宽和范围都受到限制，我们提出了一种轻巧的环境演示方法和有效的合作探索策略。对于较低的带宽，每个机器人都利用特定的多面有来维护自由空间和超级边界信息（SFI）作为勘探决策的来源。为了减少重复的探索，我们开发了一种基于任务的协议，该协议驱动机器人以稳定的会合方式共享收集的信息。我们还为集中式和分散案件设计了完整的路径计划计划。为了验证我们的框架是实用且通用的，我们提出了广泛的基准，并将系统部署到多UGV和多UAV平台中。

Letting a deep network be aware of the quality of its own predictions is an interesting yet important problem. In the task of instance segmentation, the confidence of instance classification is used as mask quality score in most instance segmentation frameworks. However, the mask quality, quantified as the IoU between the instance mask and its ground truth, is usually not well correlated with classification score. In this paper, we study this problem and propose Mask Scoring R-CNN which contains a network block to learn the quality of the predicted instance masks. The proposed network block takes the instance feature and the corresponding predicted mask together to regress the mask IoU. The mask scoring strategy calibrates the misalignment between mask quality and mask score, and improves instance segmentation performance by prioritizing more accurate mask predictions during COCO AP evaluation. By extensive evaluations on the COCO dataset, Mask Scoring R-CNN brings consistent and noticeable gain with different models, and outperforms the state-of-the-art Mask R-CNN. We hope our simple and effective approach will provide a new direction for improving instance segmentation. The source code of our method is available at https:// github.com/zjhuang22/maskscoring_rcnn. * The work was done when Zhaojin Huang was an intern in Horizon Robotics Inc.

在这项工作中，我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可用于将数据分布描述为密度的替代方案。它可以通过分数匹配有效地学习，并用于灵活地生成可靠的样本以增强判别性分类质量，以恢复密度并构建生成性分类器。我们分析了涉及基于分数表示的决策理论，并对模拟和现实世界数据集进行了实验，证明了其在实现和改善算法分类性能以及对扰动的鲁棒性方面的有效性，尤其是在高维和不平衡状况下。

网络攻击幅度越来越大，频率和复杂性增加。作为回应，安全社区正在通过机器学习来全自动自动化网络防御系统。然而，到目前为止，尚未审查对攻击者和防守者共施工动力学的产生影响。在这个白皮书中，我们假设两侧的自动化增加将加速共同循环，从而求求出是否有任何所产生的固定点，以及它们的特征方式。在欧洲最大的网络统计学运动中锁定盾牌威胁模型，我们研究了对网络分类器的黑箱对抗攻击。给予已经存在的攻击能力，我们质疑基于最小逃避距离的最佳逃避攻击框架的效用。相反，我们建议一种新颖的加强学习设置，可用于有效地产生任意的对抗性扰动。然后，我们认为攻击者 - 后卫固定点本身是具有复杂相转换的普通和游戏，并引入了一个时间扩展的多智能体增强学习框架，其中可以研究所得到的动态。我们假设AI-NID的一个合理的固定点可能是防御策略严重依赖于白名单特征流子空间的情况。最后，我们证明需要持续的学习方法来研究暂时扩展的普通和游戏中的攻击者 - 后卫动态。

我们开发了一个新颖的框架，将稀疏集团拉索的正规化者添加到深度学习中的自适应优化者家族中，例如动量，亚当，亚当，阿姆斯格拉德，阿德哈西亚人，并创建了新的优化者，这些优化者被称为群体动量，命名因此，Adagrad小组，亚当集团，Amsgrad集团和Adahessian集团等。我们基于原始偶的方法在随机凸设置中建立理论上证明的收敛保证。我们评估了新优化器对具有最先进的深度学习模型的三个大型现实广告单击数据集的正则效应。实验结果表明，与使用幅度修剪方法的后处理过程相比，模型的性能可以在相同的稀疏度水平上显着提高。此外，与没有幅度修剪的情况相比，我们的方法可以实现极高的稀疏性，并具有明显的更好或高度竞争性的性能。

图形神经网络（GNN）已被证明是分析非欧国人图数据的强大工具。但是，缺乏有效的分布图学习（GL）系统极大地阻碍了GNN的应用，尤其是当图形大且GNN相对深时。本文中，我们提出了GraphTheta，这是一种以顶点为中心的图形编程模型实现的新颖分布式和可扩展的GL系统。 GraphTheta是第一个基于分布式图处理的GL系统，其神经网络运算符以用户定义的功能实现。该系统支持多种培训策略，并在分布式（虚拟）机器上启用高度可扩展的大图学习。为了促进图形卷积实现，GraphTheta提出了一个名为NN-Tgar的新的GL抽象，以弥合图形处理和图形深度学习之间的差距。提出了分布式图引擎，以通过混合平行执行进行随机梯度下降优化。此外，除了全球批次和迷你批次外，我们还为新的集群批次培训策略提供了支持。我们使用许多网络大小的数据集评估GraphTheta，范围从小，适度到大规模。实验结果表明，GraphTheta可以很好地扩展到1,024名工人，用于培训内部开发的GNN，该工业尺度的Aripay数据集为14亿个节点和41亿个属性边缘，并带有CPU虚拟机（Dockers）群的小群。 （5 $ \ sim $ 12GB）。此外，GraphTheta比最先进的GNN实现获得了可比或更好的预测结果，证明其学习GNN和现有框架的能力，并且可以超过多达$ 2.02 \ tims $ $ 2.02 \ times $，具有更好的可扩展性。据我们所知，这项工作介绍了文献中最大的边缘属性GNN学习任务。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.